Vào thời tiền sử, khu vực này là quê hương một nền văn hóa của người Neanderthal như những gì đã được tìm thấy tại hang Shanidar. Những di chỉ đầu tiên của thời kỳ đồ đá mới ở Assyria là văn hóa Jarmo khoảng năm 7100 trước Công nguyên và Tell Hassuna, trung tâm của nền văn hóa Hassuna, vào khoảng năm 6000 TCN.

Thành phố Assur (Ashur) đa tồn tại từ trước giữa thiên niên kỷ thứ ba trước Công nguyên (khoảng năm 2600 - 2500 trước Công nguyên), mặc dù nó dường như đã là một trung tâm cai trị của người Sumer tại thời điểm này chứ không phải là một nhà nước độc lập. Nhữn vị vua Assyrian chứng thực sớm nhất là vào cuối thế kỉ 25 đầu thế kỷ 24 trước Công nguyên, bắt đầu với Tudiya. Trong thời kì Đế chế Akkad (2334-2154 TCn) Assyria, giống như tất cả các dân tộc Akkad khác, đều lệ thuộc vào Triều đại Akkad. Tên gọi Azuhinum trong ghi chép của người Akkad cũng dường như để chỉ chính Assyria. Trong thời kì Đế chế Akkad, thành phố Ashur là một trung tâm hành chính khu vực của đế chế. Tuy nhiên, vào cuối Triều đại Sargon Đại Đế, người Assyria đã nổi dậy chống lại ông ta.

Đế chế Akkad đã bị hủy diệt bởi sự suy giảm kinh tế, xung đột nội bộ và cuộc xâm lăng của người man rợ Guti trong năm 2154 trước Công nguyên. Các vị vua của Assyria,trong khoảng thời gian giữa năm 2154 trước Công nguyên và năm 2112 trước Công nguyên, có thể đã một lần nữa hoàn toàn độc lập vì người Guti chỉ được biết đến là đã cai quản miền nam Lưỡng Hà. Assyria sau đó đã trở thành một phần Đế chế của người Sumer, Triều đại thứ ba của Ur, thành lập vào năm 2112 trước Công nguyên, và hầu như vẫn nằm dưới sự thống trị của người Sumer cho đến giữa thế kỷ 21 trước Công nguyên.